Zero cost абстракции на примере хэш- 


таблиц в ClickHouse =) 
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Хэш-таблицы 


1. Введение в хэш-таблицы. 


2. Основные вопросы дизайна. 


3. Бенчмарки. 


4. C++ дизайн хэш-таблицы. 
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Хэш-таблицы в ClickHouse 


GROUP BY 
JOIN 
SELECT DISTINCT 


Хэш-таблица 


Основные методы 


lookup O(1) average 
insert O(1) average 


erase O(1) average (Не очень важен для наших сценариев) 


м НієНі оаа 
(HL) Бан! 5 “ 


Хэш-таблица 


| 


hash(key) 90 атау 5іге 
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Составляюшие хэш-таблицы 


1. Хэш-функция. 
2. Способ разрешения коллизий. 
3. Ресаиз. 


4. Способ размешения ячеек в памяти. 
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Рыбор хэш-функции 


1. Не использовать ідепіїгу-функцию для целочисленных типов. 


2. Не использовать хэш-функции для строк (CityHash) для 
целочисленных типов. 


3. Не использовать криптографические хэш-функции, если вас не 
атакуют. Например, вычисление SipHash ~980 MB/s. CityHash ~9 GB/s. 


4. Не использовать устаревшие хэш-функции. FNV1a. 


https://github.com/rurban/smhasher 
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Рыбор хэш-функции 


По умолчанию в ClickHouse плохие хэш-функции. 


1. CRC32-C для целочисленных типов. Одна инструкция (на самом деле 
две) процессора latency 3 такта. 


2. Специальная хэш-функция для строк. Стандартно можно 
использовать CityHash, xxHash, wyhash. 
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Разрешения коллизий 


| 


hash(key) % атау зе 


Разрешения коллизий 


1. Метод цепочек (Chaining). 
2. Открытая адресация (Open Addressing). 
3. Хорошие в теории (Cuckoo hashing, Hopscotch hashing, 2-choice 


hashing). Обычно либо тяжело реализуемые, либо медленные за счет 
дополнительных фетчей из памяти. 
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Метод цепочек 


| 


hash(key) % array_size 
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Метод цепочек 


Пример: std::unordered_map 


1. Стабильность указателей на ключ, значение. 


2. Возможность хранить большие обьекть, неперемешаемые обьекты. 


3. Хорошо работает с плохой хэш-функцией, высоким load factor. 


5. Очень сильно тормозит. Нагружает аллокатор (даже просто вызов 
функции дорого для hot path). 
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Открытая адресация 
ка 


hash(key) % атау 5іге 


ИШ | || 


Открытая адресация 


Линейный пробы (Linear probing). Пример ClickHouse HashMap. 


Квадратичные пробы (Quadratic probing). Пример: Google 
DenseHashMap. 


1. Хорошая кэш-локальность. 
2. Нужно аккуратно выбирать хэш-функцию. 


3. Нельзя хранить большие объекты. Сериализуем в арену и храним 
указатели на них. 
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Ресайз 


1. По степеням двойки. Быстрое деление по модулю. 


size_t place = hash & (size - 1) 


2. Ha размер простого числа близкого к степени двойки. Медленное 
деление даже с constant switch, libdivide но есть еше fastrange. 
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Выбор load factor 


О.5 хороший вариант для линейных проб с шагом 1. 
ClickHouse HashMap, Google DenseHashMap использует 0.5. 


Abseil HashMap используєт 0.875. 
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Способ размешения в памяти 


hash(key) % алтау ѕі2е 


_ | | «|. 


Способ размешения в памяти 


Просить клиента вьбрать ключи для пустого значения и удаленного. 


| 


hash(key) % атау 5іге 


Null | Null K1 Тотр| Null | Null | Null | Null 
Key | Key stone| Key | Key | Key | Key 
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Способ размешения в памяти 


Отдельно обрабатывать пустое значение и не хранить его в хэш- 


таблице. 


Null | check if key is | 
Кеу null 


hash(key) % array_size 
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Способ размешения в памяти 


Сжатое хранения метадаты и данных. 


гі 


(hash(key) >> 7) % array_size 


К1 K3 


Cells | | K1 | K3 
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Бенчмарки 


0.8 sec. 


тэ std::unordered_map 


0.7 sec. аооаје::депзе һавһ тар 


StringHashTable БЕН --- анын - 
GCC hash table Шин ze 
ChainedHashTable Баш. 
OpenHashTable Шаш . 
Google dense hash ШИШ _ 
= ‘int, int[16]> 
JudyL hash table ШД. сті» 
stdext::hash_map ШИШ ` и“ 
JudySL Array № ~ m 1.00M 1.50M 2.00M 2.50M 3.00M 
Google sparse hash Іше number ої entries in hash table 
"ЕР Z std::unordered_map 8 google::dense_hash_map 
hon dictionary По ТІ ҚҰЛЫНЫ = 
14 гч У =  Онавһ ч? Mtsl::sparse_map 
ііі Mtsl::hopscotch_map 4  івісгобіп тар 
0 | Т Т Т Т Т Т 1 
4 40 400 4000 40000 400000 4000000 40000000 


Number ої elements іп the container 


HighLoad 
(Ht) Hiehl oach 


Как не надо делать бенчмарки 


Тестировать хэш-таблицы на случайных целочисленных значениях. 


Тестировать хэш-таблицы без учета максимального load factor, memory 
consumption. 


Тестировать и не показывать код бенчмарка. 
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Как надо делать бенчмарки 


На реальных сценариях и на реальных данных. В ClickHouse реальный 
сценарий - агрегация данных. 


Датасет данных Яндекс.Метрики. 


wget https://datasets.clickhouse.tech/hits/partitions/hits_10Om_obfuscated_v1.tar.xz 
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Бенчмарки 


WatchID почти все значения уникальные. Размер хэш-таблицы 20714865 
элементов. Это ~600 МВ, не влазит в11-кзши. 


ClickHouse HashMap: 7.366 сек. 

Google DenseMap: 10.089 сек. 

Abseil HashMap: 9.011 сек. 
44.758 сек. 


std::unordered_map: 


Деинициализация std::unordered_map заняла больше времени, чем 
бенчмарки остальных таблиц. 
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Бенчмарки 


регі stat -е cache-misses:u ./integer_hash_tables_and_hashes 


Click House HashMap: 
Google DenseMap: 
Abseil HashMap: 


std::unordered_map: 


329,664,616 
383,350,820 
415,869,669 
1,939,811,017 
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Бенчмарки 


Latency Comparison Numbers 

11 cache reference 

Branch mispredict 

L2 cache reference 

Mutex lock/unlock 

Main memory reference 

Compress 1K bytes with Zippy 

Send 1K bytes over 1 Gbps network 
Read 4K randomly from SSD* 

Read 1 MB sequentially from memory 
Round trip within same datacenter 


http://norvig.com/21-days.html#answers 


0.5 ns 

5 ns 

7 ns 

25 ns 

100 ns 
3,000 ns 
10,000 ns 
150,000 ns 
250,000 п5 
500,000 ns 


14x 11 cache 


20x L2 cache, 200x 11 cache 


~1GB/sec SSD 
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Бенчмарки 


Кедіопір часто повторяющиеся значения. Размер хэш таблицы 9040 


элементов. Влазит в LL кзши. 
Click House HashMap: 

Google DenseMap: 

Abseil HashMap: 


std::unordered_map: 


0.201 сек. 
0.261 сек. 


0.307 сек. 
0.466 сек. 
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C++ дизайн хэш-таблицы 


1. Hash 

2. Allocator 

3. Cell 

4. Grower (интерфейс для ресайза) 


5, HashTable 
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C++ дизайн хэш-таблицы 


Hash 


Такой же Kak std::hash. 


template <typename Т> 
struct Hash 


size_t operator() (T key) const 


return DefaultHash<T>(key); 
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C++ дизайн хэш-таблицы 


Allocator 


Использует ттар, тгетар для больших кусков памяти. 


class Allocator 
void * alloc(size_t size, size Є alignment); 
void free(void * buf, size_t size); 
void * realloc(void * buf, size_t old_size, size ЄС new_size); 


ЕСТЬ аллокатор, изначально выделяюций память на стеке: 


AllocatorWithStackMemory<HashTableALLocator, initial_bytes> 
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C++ дизайн хэш-таблицы 


Cell 


template <typename Key, typename Mapped, typename HashTableState> 
struct HashTableCell 


{ 
void setHash(size_t hash_value); 
size_t getHash(const Hash & hash) const; 
bool isZero(const State & state); 
void setZero(); 
= И 
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C++ дизайн хэш-таблицы 


Grower 


struct HashTableGrower 
size_t place(size t x) const; 
size_t next(size_t pos) const; 
bool willNextElLementOverflow( ) const; 


void increaseSize(); 
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C++ дизайн хэш-таблицы 


HashTable 


template 
< 


typename Key, 
typename Cell, 
typename Hash, 
typename Grower, 
typename Allocator 

> 

class HashTable 
protected Hash, 
protected Allocator, 
protected Cell: :State; 
protected ZeroValueStorage<Cell::need_zero_value_storage, Cell> 
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C++ дизайн хэш-таблицы 


ZeroValueStorage 


template <bool need_zero_value_storage, typename Cell> 
struct ZeroVaLlueStorage; 


template <typename Cell> 
struct ZeroValueStorage<true, Cell> 


{ 

}; 

template <typename Се11> 

struct ZeroValueStorage<false, Cell> 


{ 
ЈЕ 
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C++ дизайн хэш-таблицы 


Возможность передавать кастомный Grower. 


1. Передаем Grower с фиксированным размером, без ресайза и 
разрешения цепочек коллизий получаем Г ооКир-таблицу. 


2. Передаем Grower с шагом разрешения коллизий не 1. 
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C++ дизайн хэш-таблицы 


ВОЗМОЖНОСТБ хранить состояниев ячейке. 


Сохранять хэш. Используется для строковых хэш-таблиц. 


struct HashMapCeLLWithSavedHash : public HashMapCelLl 
{ 
size_t saved_hash; 
void setHash(size_t hash_value) { saved_hash = hash_value; } 


size_t getHash(const Hash 8) const 4 return saved_hash; } 
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C++ дизайн хэш-таблицы 


Быстроочишаемая хеш-таблица. 


struct FixedClearableHashMapCeLLl 
struct ClearableHashSetState 


UInt32 version = 1; 


using State = ClearableHashSetState; 
UInt32 version = 1; 
bool isZero(const State & st) const { return version |= st.version; | 


void setZero() 4 version = 0; } 
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C++ дизайн хэш-таблицы 


LRUCache. 


struct LRUHashMapCell 
static bool constexpr need_to_notify_cell_during_move = true; 
static void move(LRUHashMapCeLll * old_loc, LRUHashMapCeLll * пем 1ос), 
LRUHashMapCeLL * next = nullptr; 
LRUHashMapCeLl * prev = nullptr; 
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C++ дизайн хэш-таблицы 


LRUCache. Используем boost::intrusive::list. 


using LRUList = boost::intrusive::list 
< 


Се11, 


boost: : intrusive: :value_traits<LRUHashMapCellLIntrusiveValueTraits>, 
boost: : intrusive: :constant_time_size<false> 
Буе 


LRUList Lru_List; 


https://www.boost.org/doc/libs/1_76_O/doc/html/intrusive.html 
(нь) HighLoad+ 
Весна 2021 


Специализированные хэш-таблицы 


SmallTable 


Состоит из массива на некоторое небольшое количество элементов. 
Помешается в11-кэш. 


template <typename Key, typename Cell, size_t capacity> 
class SmallTable : protected Cell::State 


size_t m_size = 0; 
Cell buf[capacity]; 
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Специализированные хэш-таблицы 


StringHashTable 

Состоит из 4 хзш-таблиц: 

1. Для строк размером 0-8 байт. 

2. Для строк размером 9-16 байт. 

3. Для строк размером 17-24 байта. 

4. Для строк размером больше 24 байт. 


https://www.researchgate.net/publication/339879042_SAHA_A_String_Adaptive_Hash_Table_for_Analytical_Databases 
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Специализированные хэш-таблицы 


TwoLevelHashTable 
Состоит из 256 хзш-таблиц: 


На вставке ключа мы вычисляем индекс хэш-таблицы в КОТОрую будем 
вставлять ключ. 


size_t деСВиске готНазћ(512е © hash_value) 


return (hash уаіше >> (32 - ВІТ5 ЕОВ BUCKET)) & МАХ BUCKET; 
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Заключение 


Мы написали фреймворк для хэш-таблиц под свой сценарий аггрегации 
данных. 


https://github.com/Click House/ClickHouse/blob/master/src/Common/HashTable/HashTable.h 


https://github.com/Click House/ClickHouse/blob/master/src/Common/examples/integer_hash_tables_benchmark.cpp 
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Спасибо! 
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